🧠 Градиентный спуск: когда сходимость гарантирована, а когда — нет
В линейной регрессии с функцией потерь в виде среднеквадратичной ошибки (MSE) задача выпуклая — это значит, что существует единственный глобальный минимум, и градиентный спуск (если не мешают численные ошибки) гарантированно к нему сойдётся.
🔁 Если расширить линейную регрессию, применяя нелинейные преобразования (например, полиномиальные признаки), или перейти к глубоким нейросетям, ситуация меняется: поверхность функции потерь становится невыпуклой, появляются локальные минимумы и седловые точки.
📉В таких случаях градиентный спуск может: ▪️ сойтись к локальному минимуму ▪️ застрять на плато (участке с малыми градиентами) ▪️ не достичь глобального оптимума
💡Что помогает: ▪️ оптимизаторы с моментумом (например, Adam, RMSProp) ▪️ адаптивное изменение learning rate ▪️ периодический «рестарт» обучения
⚠️Подводный камень:
Можно ошибочно считать, что градиентный спуск всегда работает, как в линейной регрессии. Но в невыпуклых задачах сходимость к глобальному минимуму не гарантируется.
🧠 Градиентный спуск: когда сходимость гарантирована, а когда — нет
В линейной регрессии с функцией потерь в виде среднеквадратичной ошибки (MSE) задача выпуклая — это значит, что существует единственный глобальный минимум, и градиентный спуск (если не мешают численные ошибки) гарантированно к нему сойдётся.
🔁 Если расширить линейную регрессию, применяя нелинейные преобразования (например, полиномиальные признаки), или перейти к глубоким нейросетям, ситуация меняется: поверхность функции потерь становится невыпуклой, появляются локальные минимумы и седловые точки.
📉В таких случаях градиентный спуск может: ▪️ сойтись к локальному минимуму ▪️ застрять на плато (участке с малыми градиентами) ▪️ не достичь глобального оптимума
💡Что помогает: ▪️ оптимизаторы с моментумом (например, Adam, RMSProp) ▪️ адаптивное изменение learning rate ▪️ периодический «рестарт» обучения
⚠️Подводный камень:
Можно ошибочно считать, что градиентный спуск всегда работает, как в линейной регрессии. Но в невыпуклых задачах сходимость к глобальному минимуму не гарантируется.
At a time when the Indian stock market is peaking and has rallied immensely compared to global markets, there are companies that have not performed in the last 10 years. These are definitely a minor portion of the market considering there are hundreds of stocks that have turned multibagger since 2020. What went wrong with these stocks? Reasons vary from corporate governance, sectoral weakness, company specific and so on. But the more important question is, are these stocks worth buying?
Telegram announces Anonymous Admins
The cloud-based messaging platform is also adding Anonymous Group Admins feature. As per Telegram, this feature is being introduced for safer protests. As per the Telegram blog post, users can “Toggle Remain Anonymous in Admin rights to enable Batman mode. The anonymized admin will be hidden in the list of group members, and their messages in the chat will be signed with the group name, similar to channel posts.”
Библиотека собеса по Data Science | вопросы с собеседований from cn
